Vợ của Olmert, Aliza, là một người viết tiểu thuyết và kịch sân khấu và còn là một nghệ sĩ. Một số người tin rằng Aliza có tư tưởng thiên tả hơn chồng. Bà tuyên bố đã bỏ phiếu cho ông lần đầu năm 2006.[29]

Hai người có bốn con chung và một con gái nuôi.[30] Con gái lớn nhất, Michal, có một bằng Masters về tâm lý và lãnh đạo các hội thảo về creative thinking. Con gái khác Dana là một giảng viên văn học tại Đại học Tel Aviv, và biên tập viên văn học báo chí. Bà là người đồng tính nữ, và sống với một đối tác tại Tel Aviv. Cha mẹ bà chấp nhận khuynh hướng giới tính của con và đối tác. Dana hoạt động tích cực trong chi nhánh tại Jerusalem của tổ chức nhân quyền Israel Machsom Watch. Tháng 6 năm 2006 và đã tham gia một cuộc tuần hành tại Tel Aviv phản đối cái gọi là sự đồng loã của Israel trong vụ đánh bom bãi biển Gaza, khiến bà trở thành chủ đề của một sự chỉ trích nhỏ từ những người cánh hữu.[31]

Con trai họ Shaul Olmert lấy một nghệ sĩ Israel, và sống tại New York. Ông hiện là Phó chủ tịch tại Nickelodeon. After Shaul đã hoàn thành nghĩa vụ quân sự, ông đã ký vào một đơn thỉnh nguyện của tổ chức cánh tả Yesh Gvul Israel. Sau này ông trở thành người phát ngôn của Beitar Jerusalem, đội bóng đá ưa thích của cha mình.[32][33] Đội này thường được gắn với phe cánh hữu Israel. Con trai út của Olmert, Ariel, người không phục vụ trong IDF, học văn học Pháp tại Sorbonne ở Paris. Shuli là con gái nuôi; bà là trẻ mồ côi từ sơ sinh.

Cha của Olmert là Mordechai, một người tiên phong trong việc định cư đất đai của Israel và cựu thành viên của Knesset thứ 2 và thứ 3, lớn lên tại thành phố Harbin Trung Quốc, nơi ông lãnh đạo một phong trào thanh niên Betar địa phương. Ông nội của Olmert, J.J. Olmert định cư tại Harbin sau khi bỏ chạy khỏi nước Nga thời hậu Thế chiến I.[34] Năm 2004, Olmert đã tới thăm Trung Quốc và cả mộ của ông nội ở Harbin. Olmert nói rằng cha mình không bao giờ quên quê hương ở Trung Quốc sau khi chuyển tới Palestine uỷ trị Anh, năm 1933 ở tuổi 22. "Khi ông mất năm 88 tuổi, ông đã thốt ra những lời cuối cùng bằng tiếng quan thoại", ông nhớ lại.[35]

Tháng 10 năm 2007, Olmert thông báo rằng ông mắc ung thư tuyến tiền liệt. Các bác sĩ của ông tuyên bố rằng nó không quá nguy hiểm.[36] Tháng 4 năm 2009, người phát ngôn của Olmert đã ra một thông báo nói rằng bệnh ung thư của Olmert đã giảm bớt.